Diêm Hành là người quận Kim Thành, sau lấy tên là Diễm. Từ thuở trẻ Diêm Hành đã có tiếng tăm, lúc đầu làm một viên tướng nhỏ, đi theo Hàn Toại. Khi Hàn Toại đánh chống nhau với Mã Đằng. Con của Mã Đằng là Mã Siêu lúc này cũng có tiếng tăm đi theo. Diêm Hành tấn công để giết Mã Siêu nhưng mâu bị gãy tuy nhiên ông ta lấy mâu gãy đâm cổ của Mã Siêu, suýt giết được Mã Siêu.

Năm Kiến An thứ 14, Diễm Hành được Hàn Toại cử đi sứ gặp Tào Tháo, Tào Tháo đối đã với ông này rất hậu và cho làm Kiền Vi Thái thú. Hành nhân đó xin cho cha mình vào làm Túc vệ. Năm 211, Mã Siêu phát động các tướng ở miền Quan Trung xuất quân đánh Tào Ngụy. Diêm Hành can ngăn Hàn Toại nhưng Hàn Toại không nghe mà xuất binh tham chiến trong trận Đồng Quan nên Diêm Hành đã bỏ theo về với Tào Tháo.